Multi-modal analysis of dance performances for music-driven choreography synthesis
music-drivenなダンスの振り付け生成に向けて
ダンスの分析，アノテーション
We propose a framework for modeling, analysis, annotation and synthesis of multi-modal dance performances. We analyze correlations between music features and dance figure labels on training dance videos in order to construct a mapping from music measures (segments) to dance figures towards generating music-driven dance choreographies. We assume that dance figure segment boundaries coincide with music measures (audio boundaries). For each training video, figure segments are manually labeled by an expert to indicate the type of dance motion. Chroma features of each measure are used for music analysis. We model temporal statistics of such chroma features corresponding to each dance figure label to identify different rhythmic patterns for that dance motion. The correlations between dance figures and music measures, as well as, correlations between consecutive dance figures are used to construct a mapping for music-driven dance choreography synthesis. Experimental results demonstrate the success of proposed music-driven choreography synthesis framework.
マルチモーダルダンスパフォーマンスのモデリング、分析、アノテーションおよび合成のためのフレームワークを提案します。私たちは、音楽的尺度（セグメント）からダンスフィギュアへの音楽主導のダンス振り付けの生成に向けたマッピングを構築するために、ダンスビデオのトレーニングにおける音楽の特徴とダンスフィギュアラベルの間の相関関係を分析します。ダンスフィギュアセグメントの境界は音楽の尺度（オーディオの境界）と一致すると仮定します。各トレーニングビデオについて、ダンスの動きの種類を示すために、専門家によって数字のセグメントに手動でラベルが付けられます。各小節の彩度特徴は、音楽分析に使用されます。各ダンス人物ラベルに対応するそのようなクロマ特徴の時間的統計をモデル化して、そのダンスの動きに対する異なるリズムパターンを識別する。ダンスフィギュアと音楽尺度との間の相関関係、ならびに連続ダンスフィギュア間の相関関係は、音楽主導のダンス振付合成のためのマッピングを構築するために使用される。実験結果は、提案された音楽主導の振り付け合成フレームワークの成功を実証している。
@inproceedings{OfliEYT10,
author = {F. Ofli and
E. Erzin and
Y. Yemez and
A. M. Tekalp},
title = "{Multi-modal analysis of dance performances for music-driven choreography synthesis},
booktitle = {Proceedings of the {IEEE} International Conference on Acoustics, Speech,
and Signal Processing, {ICASSP} 2010, 14-19 March 2010, Sheraton Dallas
Hotel, Dallas, Texas, {USA}},
pages = {2466--2469},
year = {2010},
crossref = {DBLP:conf/icassp/2010},
doi = {10.1109/ICASSP.2010.5494891},
timestamp = {Sat, 16 Sep 2017 12:09:03 +0200},
}